평균 타깃 값
평균 타깃 값
개요
평균 타깃 값(Mean Value)은 데이터과학, 특히 머신러닝과 통계 분석에서 중요한 개념 중 하나로, 특정 그룹이나 범주 내에서 타깃 변수(Target Variable)의 평균을 계산한 값을 의미합니다. 이 값은 주로 범주형 변수의 인코딩, 피처 엔지니어링, 모델 성능 개선 등을 위해 활용되며, 특히 타깃 인코딩(Target Encoding) 기법의 핵심 요소로 사용됩니다.
평균 타깃 값은 데이터의 패턴을 파악하고, 범주형 변수가 타깃에 미치는 영향을 정량적으로 평가할 수 있게 해줍니다. 예를 들어, 고객의 '지역'이라는 범주형 변수가 '구매 여부'라는 타깃에 어떤 영향을 미치는지를 평균 타깃 값을 통해 분석할 수 있습니다.
평균 타깃 값의 정의와 계산
정의
평균 타깃 값은 주어진 조건(예: 특정 범주)에 속하는 데이터 포인트들에 대해 타깃 변수의 산술 평균을 계산한 것입니다.
수식으로 표현하면 다음과 같습니다:
$$ \text{평균 타깃 값} = \frac{1}{n} \sum_{i=1}^{n} y_i $$
여기서: - $ y_i $: 타깃 변수의 값 (예: 0 또는 1, 연속값 등) - $ n $: 해당 그룹 내의 샘플 수
예시
다음과 같은 데이터가 있다고 가정해 봅시다:
| 지역 | 구매 여부 (타깃) |
|---|---|
| 서울 | 1 |
| 부산 | 0 |
| 서울 | 1 |
| 대구 | 0 |
| 서울 | 0 |
| 부산 | 1 |
각 지역별 평균 타깃 값을 계산하면:
- 서울: (1 + 1 + 0) / 3 = 0.67
- 부산: (0 + 1) / 2 = 0.50
- 대구: 0 / 1 = 0.00
이 값을 활용해 '지역' 변수를 수치형으로 변환(인코딩)할 수 있습니다.
활용 분야
1. 타깃 인코딩 (Target Encoding)
타깃 인코딩은 범주형 변수의 각 범주를 해당 범주의 평균 타깃 값으로 대체하는 기법입니다. 이는 원-핫 인코딩과 달리 고차원 문제를 피할 수 있으며, 특히 범주 수가 많은 경우 유리합니다.
예:
- 범주형 변수: 도시
- 인코딩 후: 도시_encoded = 평균 타깃 값
⚠️ 주의: 타깃 인코딩은 데이터 누수(Leakage)를 유발할 수 있으므로, 교차 검증(CV) 시 폴드 내에서만 평균을 계산하거나, 평활화(Smoothing) 기법을 사용해야 합니다.
2. 피처 엔지니어링
평균 타깃 값을 새로운 피처로 추가하면 모델이 범주와 타깃 간의 관계를 더 잘 학습할 수 있습니다. 예를 들어, 고객의 직업별 평균 구매 금액을 피처로 사용할 수 있습니다.
3. 데이터 탐색적 분석 (EDA)
EDA 과정에서 범주형 변수의 각 수준이 타깃에 미치는 영향을 시각화하거나 정량적으로 평가할 때 유용합니다 예를 들어, 막대 그래프로 각 범주의 평균 타깃 값을 시각화하면 인사이트를 쉽게 도출할 수 있습니다.
주의사항과 문제점
1. 데이터 누수 (Data Leakage)
학습 데이터 전체를 사용해 평균을 계산 검증/테스트 데이터의 정보가 모델에 유출될 수 있습니다. 이는 과적합(Overfitting)을 유발합니다.
해결 방법: - 교차 검증 시 각 폴드의 학습 데이터만 사용해 인코딩 - Leave-One-Out Encoding: 각 샘플을 제외한 나머지 데이터로 평균 계산 - 평활화 (Smoothing): 전체 데이터의 평균과 그룹 평균을 가중 평균
2. 소수 그룹 (Low-frequency Categories)
범주 내 샘플 수가 매우 적을 경우 평균 타깃 값이 불안정해집니다 (예: 1개 샘플 → 평균이 0 또는 1 고정).
해결 방법: - 최소 샘플 수 기준 설정 (예: 10개 미만은 병합 또는 평균 전체 타깃 값으로 대체) - 베이지안 평활화 (Bayesian Smoothing)
관련 기법
| 기법 | 설명 |
|---|---|
| 원-핫 인코딩 | 범주를 이진 벡터로 변환. 고차원 문제 발생 가능 |
| 라벨 인코딩 | 범주에 정수 레이블 부여. 순서 의미 없을 경우 부적절 |
| 임베딩 | 딥러닝에서 범주를 저차원 밀집 벡터로 표현 |
| 평균 인코딩 + 평활화 | 평균 타깃 값에 전체 평균을 반영해 안정성 향상 |
참고 자료
- Micci-Barreca, D. (2001). A Preprocessing Scheme for High-Cardinality Categorical Attributes in Classification and Prediction Problems. ACM SIGKDD Explorations.
- Owen, A. B. (2007). A study of proxies for Shapley allocation of data value. arXiv preprint.
- Kaggle 커널: "Target Encoding Best Practices"
✅ 요약: 평균 타깃 값은 범주형 변수를 효과적으로 수치화하고, 타깃과의 관계를 모델에 반영하는 강력한 도구입니다. 하지만 적절한 전처리와 평활화 없이는 과적합의 위험이 있으므로 주의가 필요합니다.
이 문서는 AI 모델(qwen-3-235b-a22b-instruct-2507)에 의해 생성된 콘텐츠입니다.
주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.